为什么要本地推理

每天跑 cron、答重复问题,云端大模型按 token 扣费,量一大就是真金白银。如果你手头有一台装了 Ollama 的台式机或闲置服务器,完全可以把它当成 OpenClaw 的「免费算力节点」——推理不联网、不花钱,只走你自己的机器。

OpenClaw 里干这件事的工具叫 node_inference(来源 ollama)。它的核心思路就一句话:模型留在配对节点上跑,OpenClaw 只负责发 prompt、收回答。

工具真实签名(核对本机,不编造)

通过工具目录查到的真实入参如下:

{
  "action": "discover" | "run",
  "node": "string(可选,指定配对节点)",
  "model": "string(仅 run 需要,来自 discover 的结果)",
  "prompt": "string(run 的对话内容)",
  "system": "string(可选系统提示)",
  "maxTokens": "integer, 1–8192",
  "temperature": "number, 0–2",
  "timeoutMs": "integer, 1–600000",
  "maxTokens": "integer, >=1 <=8192"
}

要点:

  • 必须先 discover 再 run。model 参数不是你随手写的名字,必须是 discover 返回的节点上的真实模型名,否则节点会找不到模型。
  • 推理留在所选节点:Inference stays on the selected node. OpenClaw 网关本身不加载模型权重。
  • 参数有硬边界:maxTokens 1–8192、temperature 0–2、timeoutMs 最长 10 分钟(600000ms)。越界会被直接拒绝。

实战两步链路

第一步:discover 摸清节点上有什么

# 让 OpenClaw 列出所有配对节点上可用的 Ollama 聊天模型
tool_call(node_inference, { "action": "discover" })

返回里会带每个节点的 node 标识和它装好的模型清单(例如 qwen2.5:7b、llama3.1:8b 之类,具体以你节点实际 ollama list 为准)。记下图里你要用的 node 名和 model 名,下一步要原样填。

实战踩坑提醒:discover 的前提是 Ollama 已经装在那台配对节点上并正常运行。本机(网关所在服务器)没有 ollama 二进制也没关系——node_inference 的设计就是跨节点,只要你把它配对成 node 就行。如果 discover 返回空,先去节点上 ollama pull <模型> 并确认 ollama serve 在跑。

第二步:run 发 prompt 收回答

拿到 node 和 model 后,直接跑:

{
  "action": "run",
  "node": "<discover 返回的节点名>",
  "model": "<discover 返回的模型名>",
  "prompt": "用一句话解释什么是向量数据库",
  "system": "你是一个严谨的技术讲师,回答简洁",
  "maxTokens": 512,
  "temperature": 0.3,
  "timeoutMs": 60000
}

回答会原样返回给当前会话。因为是本地推理,这种「一句话答疑」「摘要」「分类」「草稿生成」类轻活,放节点上跑比调云端 API 划算得多,而且断网也能用。

能接进产线的真实姿势

以我自己的每日发文产线为例:

  • 选题初筛 / 标题改写:把候选标题丢给本地 7B 模型做「爆款感」打分,不占云端额度。
  • 长文摘要:写完 3000 字正文,让节点模型压缩成一句话 摘要,再贴回 markdown 第 2 行。
  • 离线兜底:云端 Key 欠费或 DeepSeek 抽风时,把轻量任务切到本地节点,产线不中断。

注意边界:本地 7B/8B 模型写代码、做复杂推理不如云端旗舰模型。我的用法是云端管难活、本地管重复轻活,各取所长,而不是一刀切替代。

部署前置(诚实说明)

要让 node_inference 真正可用,你需要:

  1. 一台装好 Ollama 的机器(台式机 / 闲置服务器 / 树莓派都行),ollama pull 几个聊天模型。
  1. 在 OpenClaw 里把那台机器配对成 node(配对流程走 Gateway 的节点接入,不在本文编造步骤)。
  1. 确认节点在线后,再 discover 验证模型可见。

只有这三条齐了,run 才会真的出结果。本文不虚构「开箱即用」——它本就是为「你已经有 Ollama 节点」这个前提设计的。

小结

  • node_inference = OpenClaw 调度「配对节点上的 Ollama 模型」的桥,推理不出节点。
  • 链路固定:discover 拿 node+model → run 带 prompt 跑。
  • 参数红线:maxTokens 1–8192、temperature 0–2、timeoutMs ≤600000。
  • 适合:摘要、分类、标题改写、离线兜底等轻活;难活仍交给云端。
  • 前提:Ollama 已装在配对节点并正常运行,否则 discover 为空。

把本地算力接进 OpenClaw,不是炫技,是实打实把每天的 token 成本往下摁——尤其对天天跑定时任务的产线来说,每一分省下来的都是利润。

扫码关注公众号，获取更多 OpenClaw 实操技巧：

公众号二维码